高保真度

Unique3D

Unique3D是一款由清华大学团队开发的开源框架,专注于单张图像到3D模型的转换。它利用多视图扩散模型和法线扩散模型,结合多级上采样策略和ISOMER算法,能够在短时间内生成高保真度且纹理丰富的3D网格模型。Unique3D能够从单个2D图像生成3D网格模型、多个正交视图图像和法线贴图,并通过多级上采样过程提高图像分辨率,最终实现颜色和几何细节的高度整合。

HeadGAP

HeadGAP是一款由字节跳动和上海科技大学联合研发的3D头像生成模型。该模型利用少量图片即可生成高度逼真的3D头像,具备高保真度、动画鲁棒性和多视图一致性等特点。HeadGAP通过先验学习、高斯Splatting网络、身份共享编码及部分动态建模等技术,实现了逼真的3D头像生成,并适用于虚拟社交、游戏开发、电影和动画制作等多种应用场景。

QA

QA-MDT是一款基于文本生成高质量音乐的开源工具,其核心技术包括质量感知训练、掩蔽扩散变换器以及音乐与文本的同步优化。它能够根据用户提供的文本描述生成多样化的音乐作品,并通过质量控制确保输出结果的高保真度。此外,QA-MDT支持音乐与文本的一致性增强,适用于广告、影视配乐、音乐教育及智能设备等多个领域。

OpenMusic

OpenMusic是一款基于QA-MDT技术的文生音乐工具,支持从文本生成高质量音乐作品,具备质量感知训练、多样化风格生成及复杂推理能力。它广泛应用于音乐制作、多媒体内容创作、音乐教育等领域,同时提供音频编辑与处理功能,旨在提升音乐创作效率和质量。

EzAudio

EzAudio是一款基于文本到音频(Text-to-Audio, T2A)生成模型,通过优化的扩散变换器架构和高效的数据训练策略,实现了快速生成高质量音频的功能。它支持多种应用场景,如音乐创作、影视后期制作、语音合成等,并具备高保真度和低资源消耗的特点。

Mochi 1

Mochi 1 是一款基于开源架构的 AI 视频生成工具,具有高保真度和强大的提示遵循能力。它采用 Genmo 自研的非对称扩散变压器(AsymmDiT)架构,结合实时视频生成技术和流式架构,能够高效生成高质量的视频内容。Mochi 1 支持多种应用场景,包括视频内容创作、教育、娱乐、广告和社交媒体等,适用于个人和企业用户。

Genmoai

Genmoai-smol 是一款专为单 GPU 设备设计的开源视频生成模型,能够将文本描述转化为高质量视频内容。其核心优势在于高保真度运动表现、强大的文本提示遵循能力及显存优化技术,支持用户在资源受限条件下开展视频创作。该工具提供了 Gradio UI 和命令行界面两种操作方式,并广泛应用于视频内容创作、超现实效果视频制作和技术研究等领域。

OmniEdit

OmniEdit是一款基于多专家模型监督训练的先进图像编辑工具,支持七种核心图像编辑任务,包括对象替换、移除、添加、属性修改、背景替换、环境变化和风格转换。它能够处理不同宽高比和分辨率的图像,采用EditNet架构,提升了编辑的成功率和图像保真度。OmniEdit在自动与人工评估中表现优异,适用于专业设计、社交媒体内容创作、电子商务、新闻媒体等多个领域。

AnchorCrafter

AnchorCrafter是一款基于扩散模型的智能视频生成工具,利用人-物交互(HOI)技术生成高质量主播风格产品推广视频。它支持物体外观保持、运动控制、遮挡处理及细节增强学习,适用于在线购物、社交媒体营销、电视广告制作等多个领域,显著提升视频真实感和互动性。

StableAnimator

StableAnimator是一款由复旦大学、微软亚洲研究院、虎牙公司及卡内基梅隆大学联合开发的高质量身份保持视频生成框架。它能够根据参考图像和姿态序列,直接生成高保真度、身份一致的视频内容,无需后处理工具。框架集成了图像与面部嵌入计算、全局内容感知面部编码器、分布感知ID适配器以及Hamilton-Jacobi-Bellman方程优化技术,确保生成视频的流畅性和真实性。StableAnimato